高效搭建Spark完全分布式集群

来源:互联网作者:网友投稿发布时间:2021-01-10 17:45

写在前面一：本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境...

Spark集群示意图一、具体安装步骤 1、安装jdk 2、安装Hadoop集群，Spark相关软件存放目录：/usr/local/yujianxin/spark。

二、安装测试 2.1、测试1——通过命令行 cd $SPARK_HOME/bin start-all.sh 2.2、测试2——通过浏览器，写在前面二：使用软件说明约定，master认为worker的spark路径与自己一样。

把master上Spark相关配置copy到slave1、slave2中。

三台机器spark所在目录必须一致，参考 3、安装 Scala cd /usr/local/yujianxin/spark/ tar -zxvf scala-2.9.3.tgz 修改/etc/profile 4、安装Spark 4.1、修改/etc/profile cd /usr/local/yujianxin/spark/ tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz 4.2、配置Spark 4.2.1、修改配置文件spark-env.sh cd /usr/local/yujianxin/spark/spark-0.7.2/conf cp spark-env.sh.template spark-env.sh vi spark-env.sh 4.2.2、修改配置文件slaves 至此， Hadoop相关软件存放目录： /home/yujianxin/hadoop，master节点上的Spark已配置完毕，注意，因为master会登陆到worker上执行命令，。

相关热词：

本站内容来源于网络，如有侵权请与我们联系，我们会及时删除，我们深感抱歉！
注：本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规！

本文地址: https://v30.fanwenzhu.com/server/equal/12305.shtml

上一篇：Nginx+Tomcat服务器负载均衡

下一篇：Spark教程构建Spark集群（

ZooKeeper集群安装	Spark教程构建Spark集群（1）
Mongodb集群搭建过程及常见错误	Kafka集群安装
基于RHCS的web双机热备集群搭建	Hbase 0.98集群搭建的详细步骤
Cloudera Manager 4.6 安装部署hado	WAS集群系列（15）：WAS集群服务
WAS集群系列（13）：举例WAS集群	WAS集群系列（9）：集群搭建：
WAS集群系列（10）：集群搭建：	WAS集群系列（12）：集群搭建：
WAS集群系列（2）：数据库连接	corosync+pacemaker and drbd实现mysq
Nagios监控生产环境redis集群服务	hpux集群内存小记